• 专利附录
  • 专利说明
  • 权利要求
  • 类似技术
  • 同族专利
  • 引用文献
  • 法律状态
  • 优先权
    • 专利摘要:
    一種對立體影像之處理方法。該處理方法包含有：從該對立體影像擷取出一對邊緣影像，每一邊緣影像具有複數邊緣畫素，該對邊緣影像其中之一的每一邊緣畫素關聯有一重疊度紀錄與一偏移紀錄；提供複數影像平移量，依序找出該對邊緣影像之間的複數重疊度；以及，更新一被選取邊緣畫素所關聯的該重疊度紀錄以及該偏移紀錄為一最大重疊度以及一最可能偏移量。該最大重疊度係為該被選取關鍵畫素有貢獻的數個相關重疊度中之最大值。該最可能偏移量對應該最大重疊度。
    公开号:TW201317941A
    申请号:TW100139198
    申请日:2011-10-27
    公开日:2013-05-01
    发明作者:Chien-Ming Chen
    申请人:Mstar Semiconductor Inc；
    IPC主号:G06T5-00
    专利说明:
    對立體影像之處理方法
    本發明係相關於一對立體影像的處理方法，尤指對於一種可以簡化計算過程的的立體影像處理方法。
    如同人的兩眼所看到的不同影像，可以使人感受到一物體的距離一樣，所謂一對立體影像，指的是在一條線上兩個不同位置，對於環境或是標的物分別所獲得的一對2維影像。只要從一對2維立體影像做適當的處理，就可以獲得另一維度的資訊，也就是獲得影像中物品之距離資訊，產生一3維影像。舉例來說，3維影像可以使用於像監控設備或是互動式電視遊樂器，用來辨識攝影機之前的物體位置。
    為了從一對2維立體影像獲得一3維影像，因此就需要找出2維立體影像中的偏移資訊(disparity information)。舉例來說，如果一對2維立體影像分別是左右兩個攝影機所分別擷取到的左右影像，則靠的比較近物體，在左右影像中的偏移量，相較於比較遠的物體，就會比較大。所以，要產生一3維影像，理論上就是找出兩張2維影像其中之一每個畫素之偏移量，或是產生對應畫素之數個偏移量所構成的一偏移量圖(disparity map)。
    然而，習知技術中，產生偏移量圖需要很複雜的計算以及相當多的記憶體或暫存器。舉例來說，一個習知左影像中的一個畫素的偏移量決定方法，是先定義那畫素四周圍一定大小範圍作為來源圖框(source image window)，然後去找右影像，在那畫素所有的偏移量中所對應的數個目標圖框(destination image windows)中，跟來源圖框最像的目標圖框。那最像的目標圖框與來源圖框彼此之間的偏移量，就是那畫素所對應的偏移量。這種方法需要的計算量就很驚人。儘管有一些改良的方法被提出，像是美國專利號7876954等所揭露的方法，但是實施上所需的計算量都還是很可觀。
    本發明之一實施例提供一種對一對立體影像之處理方法。該對立體影像包含有一來源影像以及一目標影像。該來源影像包含有複數來源畫素。該目標影像包含有複數目標畫素。該方法包含有下列步驟：決定該來源影像中，具有一特徵的複數來源關鍵畫素；決定該目標影像中，具有該關鍵特徵的複數目標關鍵畫素；提供複數重疊度紀錄與複數偏移紀錄，關聯於該等來源關鍵畫素；在數個影像平移量下，依序找出該來源影像與該目標影像中彼此之間的數個重疊度，每一個影像平移量有一對應重疊度；以及，更新一被選取關鍵畫素之偏移紀錄以及重疊度紀錄為一最可能偏移量以及一最大重疊度。該被選取關鍵畫素係為該等來源關鍵畫素其中之一。該最大重疊度係為該被選取關鍵畫素有貢獻的數個相關重疊度中之最大值。該最可能偏移量對應該最大重疊度。
    本發明之一實施例提供一種對一對立體影像之處理方法，包含有：從該對立體影像擷取出一對邊緣影像，每一邊緣影像具有複數邊緣畫素，該對邊緣影像其中之一的每一邊緣畫素關聯有一重疊度紀錄與一偏移紀錄；提供複數影像平移量，依序找出該對邊緣影像之間的複數重疊度；以及，更新一被選取邊緣畫素所關聯的該重疊度紀錄以及該偏移紀錄為一最大重疊度以及一最可能偏移量。該最大重疊度係為該被選取關鍵畫素有貢獻的數個相關重疊度中之最大值。該最可能偏移量對應該最大重疊度。
    為了對本發明之上述及其他方面有更佳的瞭解，下文特舉較佳實施例，並配合所附圖式，作詳細說明如下：
    在以下實施例中，一來源(source)影像是一對立體影像中，其中有畫素要被決定偏移量的那一個，而一目標(destination)影像則是另一個。當然，如此的命名方式，並不影響本發明的權利範圍。在另一個實施例中，兩者可以互換。
    來源影像中的畫素稱為來源畫素，而目標影像中的畫素稱為目標畫素。在一實施例中，每個來源畫素與每個目標畫素都有RGB或是YCbCr的顏色資訊。
    如果每個來源畫素都要找到相對應的偏移量，那需要的計算量一定很多。而且，有的來源畫素的偏移量是很難判定或是沒有意義的。譬如說，在一大片單色之顏色區塊正中間的來源畫素，其真正的偏移量就很難被正確的找到。因此，在本發明的一實施例中，只有找出來源畫素中的一些關鍵畫素(稱為來源關鍵特徵)的偏移量。如此，就可以省下許多的計算量。在一實施例中，所謂關鍵畫素是來源或是目標影像中，被辨識為位於一物體邊緣的邊緣畫素。在其他實施例中，關鍵畫素可以具有其他特徵。
    第1圖顯示來源影像在開始決定一偏移量圖前的準備動作。第2A~2D圖則顯示相對於第1圖中的每個步驟所產生之對應影像。至於針對目標影像的準備動作，可以依據第1圖以及第2A~2D圖的解釋而同理推知。步驟12用一攝影機擷取來源影像，所產生的來源影像，舉例來說，具有YCbCr的顏色資訊，如同第2A圖所示，此時來源影像由Y影像、Cb影像、以及Cr影像所構成。接著，步驟14保留來源影像中，單一顏色的資訊。譬如說，使來源影像僅保留有Y影像或是僅僅有灰階的顏色資訊，如同第2B圖所示。其他顏色資訊在之後的偏移量決定時則不列入計算或是考慮，以簡化運算量。接著，步驟16根據當下僅具有單一顏色來源影像，產生一邊緣影像，如同第2C圖所示。舉例來說，可以用微分的方式，找出來源影像中的邊緣畫素，產生一邊緣影像。在一實施例中，步驟18膨脹邊緣影像中的邊緣，來產生新的邊緣影像。譬如說，把目前所找到的邊緣畫素鄰近一定距離內的來源畫素也定義為邊緣畫素，進而更新了邊緣影像，如同第2D圖所示。
    第3圖舉例經過準備動作後，所產生的四個影像：單一顏色的來源影像22、來源邊緣影像24、單一顏色的目標影像26、目標邊緣影像28。來源影像22與目標影像26中的五角形、圓形、長方形都是單一顏色，但是灰階或顏色深淺不同。每個邊緣影像具有數個邊緣畫素。從第3圖中可以大致推論出來，圓形應該距離攝影機最近，而五角形在來源影像與目標影像中的位置幾乎一樣，所以應該距離攝影機最遠。
    第4A圖以及第4B圖顯示來源邊緣影像24與目標邊緣影像28在影像平移量分別為0與S時的關係。在一個影像平移量之下，一實施例會計算出來源邊緣影像24與目標邊緣影像28之間的一個重疊度。以第4A圖為例，在影像平移量為0時，來源邊緣影像24與目標邊緣影像28之間的一種重疊度，可以是在相同位置有出現一對重疊邊緣畫素的對數，所以大概會坐落於五角形的周邊之邊緣畫素數目、些許的長方形之邊緣畫素、很少的圓形之邊緣畫素，這些重疊邊緣畫素數目的總和。舉例來說，總共出現了80對重疊邊緣畫素，所以重疊度為80。另一種比較適當但是嚴謹的重疊畫素對之定義，除了是在影像平移量的條件下之相同位置出現之一邊緣畫素對外，還必須此邊緣畫素對所對應之兩顏色特徵相類似，此邊緣畫素對才認可為一重疊邊緣畫素對，列入重疊度計算。
    第5圖顯示決定一重疊邊緣畫素之顏色特徵的區域。在一實施例中，重疊邊緣畫素30之顏色特徵，就是其相對應之影像畫素(可能在來源影像22或是目標影像28)的灰階。在另一個實施例中，重疊邊緣畫素30之顏色特徵，就是其四周一定區域內，所有相對應之影像畫素的灰階平均值。這個區域，可以適應用所需而決定，可以是區域32(包含9個畫素)、區域34(包含25個畫素)、或是其他各種形狀大小的區域。
    簡單地說，在一實施例中，一影像平移量下的重疊度，就是來源邊緣影像24與經過該影像平移量平移後之目標邊緣影像28，在相同位置有出現，且相對應顏色特徵相近的重疊邊緣畫素對的對數。因此，只要影像平移量改變，就可能產生不同之重疊邊緣畫素對，而產生一相對應重疊度。從以上也可以推知，每個重疊度頂多就是來源邊緣畫素之總數目。
    如果以照相機照相調整鏡頭焦距來比喻，改變一影像平移量就像是在調整一鏡頭焦距，而所產生的重疊度等同那鏡頭焦距下所產生的影像清晰度。當影像清晰度最高時，其中所有在此清晰影像中所出現或是對此清晰影像有貢獻的清晰物品，其跟鏡頭的距離，大概就會跟此最高影像清晰度所對應的鏡頭焦距相關。舉例來說，鏡頭跟一個被攝影之人物的距離，大概跟在相機中出現那人物之最清晰影像時的鏡頭焦距相關。所以，類似的道理，只要先算出不同影像平移量下所分別產生的重疊度。接著找出一邊緣畫素有貢獻之相關重疊度中的最大值。而這最大值所對應的影像平移量，就可以定義為那邊緣畫素的偏移量，對應到空間中攝影機跟貢獻那邊緣畫素之一對應物件之距離。
    第6圖顯示依據一實施例中所使用的方法。在步驟62中，對來源邊緣影像中每個來源邊緣畫素都提供相對應的一重疊度紀錄以及一偏移紀錄，並使其預設值分別為0與-1。在本實施例的目標，是使一來源邊緣畫素所對應的重疊度紀錄，記憶了該來源邊緣畫素有所貢獻之相關重疊度中的最大值，而該來源邊緣畫素所對應的偏移紀錄，記憶了該最大值所對應的影像平移量。當每個來源邊緣畫素都經過處理後，其對應的偏移紀錄就大概可以組成一偏移量圖，大致對應到來源影像中邊緣在空間中所在的位置。
    步驟64把影像平移量設定為0。
    步驟66找出來源邊緣影像與目標邊緣影像之間所有的重疊邊緣畫素對。如同先前所述，在一實施例中，是否為一重疊邊緣畫素對，考慮的不只是在當下影像平移量下的邊緣畫素對之相對位置，還考慮了邊緣畫素對顏色的一致性。
    步驟68將重疊邊緣畫素對的對數作為當下影像平移量下，所對應的一當下重疊度。
    步驟70檢查所有重疊畫素對中的來源邊緣畫素之重疊度紀錄。如果一被檢查到之重疊畫素對中的來源邊緣畫素所對應的重疊度紀錄比起當下重疊度小，就以當下重疊度來更新那重疊度紀錄，同時也用當下影像平移量來更新所對應的這來源邊緣畫素所對應之偏移紀錄。反之，就不進行更新。
    步驟74檢查影像平移量是否已經到達極限了。如果步驟74的結果為否，則進行步驟76，讓影像平移量增加1。步驟66接著步驟76後進行。
    如果步驟74的結果為是，則進行步驟78結束。此時，每一來源邊緣畫素所對應的重疊度紀錄，就記憶了該來源邊緣畫素有所貢獻之相關重疊度中的最大值，而該來源邊緣畫素所對應的偏移紀錄，記憶了該最大值所對應的影像平移量。
    第7圖顯示第6圖中的步驟68。步驟82先把當下重疊度歸0。步驟84找出來源邊緣影像與目標邊緣影像中，相距有影像平移量的一邊緣畫素對。用另一種角度來看，就是找出當目標邊緣影像平移了影像平移量後，有與來源邊緣影像相重疊的一邊緣畫素對。步驟86檢查邊緣畫素對所對應的兩顏色特徵相類似。顏色特徵在第5圖已經解釋過了，不再重述。如果邊緣畫素對所對應的兩顏色特徵相類似，步驟88決定此邊緣畫素對就是一重疊畫素對，步驟90把當下重疊度增加1。如果在步驟92中，還有邊緣畫素還沒有檢查是否屬於邊緣畫素對，就回到步驟84。直到所有邊緣畫素還檢查是否屬於邊緣畫素對過了，此時，當下重疊度就是所有重疊畫素對的對數。
    第8圖顯示第6圖中的步驟70，其中顯示如何將所有重疊畫素對全部檢查過一次，且把一來源邊緣畫素的重疊度紀錄與偏移紀錄更新。
    依照本發明之實施例所揭露的方法，在最後，來源邊緣畫素的偏移紀錄就會是該畫素的偏移量。至於其他不是邊緣畫素的畫素的偏移量，可以不必要算出，或是用內差法計算得知，視應用場合而定。
    在一實施例中，運算所使用的影像，只需要四個：兩個單一顏色的影像、以及兩個邊緣影像。判別重疊畫素對的方法，只需要檢查兩邊緣畫素的位置關係以及彼此顏色的相似度。重疊度的計算，只要累積重疊畫素對的總數就可以獲得。因此可知，本發明之實施例可以使用非常少計算量，就可以得到一來源邊緣影像中，邊緣畫素的偏移量。
    綜上所述，雖然本發明已以較佳實施例揭露如上，然其並非用以限定本發明。本發明所屬技術領域中具有通常知識者，在不脫離本發明之精神和範圍內，當可作各種之更動與潤飾。因此，本發明之保護範圍當視後附之申請專利範圍所界定者為準。
    12、14、16、18．．．步驟
    22．．．單一顏色的來源影像
    24．．．來源邊緣影像
    26．．．單一顏色的目標影像
    28．．．目標邊緣影像
    30．．．重疊邊緣畫素
    32．．．區域
    34．．．區域
    60、62、64、66、68、70、74、76、78、80、82、84、86、88、90、92、94、100、102、104、106、108．．．步驟
    第1圖顯示來源影像在開始決定一偏移量圖前的準備動作。
    第2A~2D圖則顯示相對於第1圖中的每個步驟所產生之對應影像。
    第3圖舉例經過準備動作後，所產生的四個影像。
    第4A圖以及第4B圖顯示來源邊緣影像24與目標邊緣影像28在影像平移量分別為0與S時的關係。
    第5圖顯示決定一重疊邊緣畫素之顏色特徵的區域。
    第6圖顯示依據一實施例中所使用的方法。
    第7圖顯示第6圖中的步驟68。
    第8圖顯示第6圖中的步驟70。
    60、62、64、66、68、70、74、76、78．．．步驟
    权利要求:
    Claims (12)
    [1] 一種對一對立體影像之處理方法，該對立體影像包含有一來源影像以及一目標影像，該來源影像包含有複數來源畫素，該目標影像包含有複數目標畫素，該方法包含有下列步驟：決定該來源影像中，具有一特徵的複數來源關鍵畫素；決定該目標影像中，具有該特徵的複數目標關鍵畫素；提供關聯於該等來源關鍵畫素的複數重疊度紀錄(overlap record)與複數偏移紀錄(disparity record)；依序找出該來源影像與該目標影像中彼此之間的複數重疊度，每一個影像平移量有一對應重疊度；以及更新一被選取關鍵畫素之偏移紀錄以及重疊度紀錄為一最可能偏移量(most-likely disparity)以及一最大重疊度(maximum overlap)，該被選取關鍵畫素係被選取自該等來源關鍵畫素，該最大重疊度係為該被選取關鍵畫素有貢獻的數個相關重疊度中之最大值，該最可能偏移量對應該最大重疊度。
    [2] 如申請專利範圍第1項所述之對該對立體影像之處理方法，該方法另包含有：從該來源影像，擷取一邊緣影像，具有複數邊緣畫素，作為該等來源關鍵畫素。
    [3] 如申請專利範圍第2項所述之對該對立體影像之處理方法，另包含有：增加該等邊緣畫素鄰近一預設範圍內的來源畫素，作為該等來源關鍵畫素。
    [4] 如申請專利範圍第1項所述之對該對立體影像之處理方法，其中，每一來源畫素具有數種顏色資料，該決定該等來源關鍵畫素之步驟包含有：僅以該等顏色資料其中之一種，決定該等來源關鍵畫素。
    [5] 如申請專利範圍第1項所述之對該對立體影像之處理方法，其中，一第一影像平移量對應一第一重疊度，找出該第一重疊度之一步驟，包含有：決定複數對重疊畫素，每一對重疊畫素包含有彼此相距該第一影像平移量的一第一來源關鍵畫素以及一第一目標關鍵畫素，且該第一來源關鍵畫素之一顏色特徵近似於該第一目標關鍵畫素之一顏色特徵；以及依據該等重疊畫素之數量，以產生該第一重疊度。
    [6] 如申請專利範圍第5項所述之對該對立體影像之處理方法，其中，決定該等重疊畫素之該步驟包含有：依據該第一來源關鍵畫素鄰近一預設範圍內的來源畫素之顏色，決定該第一來源關鍵畫素之該顏色特徵；以及依據該第一目標關鍵畫素鄰近該預設範圍內的目標畫素之顏色，決定該第一目標關鍵畫素之該顏色特徵。
    [7] 如申請專利範圍第1項所述之對該對立體影像之處理方法，其中，每一重疊度不大於該等來源關鍵畫素之總數目。
    [8] 如申請專利範圍第1項所述之對該對立體影像之處理方法，其中，每一重疊度大致上由該等來源關鍵畫素以及該等目標關鍵畫素所決定。
    [9] 一種對一對立體影像之處理方法，包含有：從該對立體影像擷取出一對邊緣影像，每一邊緣影像具有複數邊緣畫素，該對邊緣影像其中之一的每一邊緣畫素關聯有一重疊度紀錄與一偏移紀錄；獲得該對邊緣影像之間的複數重疊度；以及更新一被選取邊緣畫素所關聯的該重疊度紀錄以及該偏移紀錄為一最大重疊度以及一最可能偏移量，該被選取邊緣畫素係被選取自該等邊緣畫素，該最大重疊度係為該被選取關鍵畫素有貢獻的數個相關重疊度中之最大值，該最可能偏移量對應該最大重疊度。
    [10] 如申請專利範圍第9項所述之對該對立體影像之處理方法，其中，一第一影像平移量對應一第一重疊度，找出該第一重疊度之一方法包含有：找出該對邊緣影像中，複數對重疊畫素，每一對重疊畫素對應到該對邊緣影像其中之一的一第一影像畫素，以及該對邊緣影像其中之另一的一第二影像畫素，該第一影像畫素與該第二影像畫素相距該第一影像平移量，且該第一影像畫素之一顏色特徵近似於該第二影像畫素之一顏色特徵；依據該等重疊邊緣畫素之數目，決定該第一重疊度。
    [11] 如申請專利範圍第9項所述之對該對立體影像之處理方法，其中，一選定邊緣畫素相對應該對立體影像其中之一的一選定影像畫素，產生一選定邊緣畫素所對應之一選定顏色特徵之方法，包含有：依據該選定影像畫素以及鄰近該選定影像畫素一預設距離內之影像畫素的顏色，決定該選定顏色特徵。
    [12] 如申請專利範圍第9項所述之提供該對立體影像之景深資訊的方法，另包含有：膨脹該邊緣影像，以更新該邊緣影像。
    类似技术:
    公开号 | 公开日 | 专利标题
    JP4958233B2|2012-06-20|多眼視画像作成システム及び多眼視画像作成方法
    US8213711B2|2012-07-03|Method and graphical user interface for modifying depth maps
    KR20120068470A|2012-06-27|스테레오 영상 정합 장치 및 그 방법
    US9129146B2|2015-09-08|Method of transforming stereoscopic image and recording medium storing the same
    US8831359B2|2014-09-09|Apparatus and method for refining a value of a similarity measure
    WO2016184099A1|2016-11-24|基于光场数据分布的深度估计方法
    JP2011203811A|2011-10-13|画像処理装置、画像処理方法、画像処理プログラム、及び複眼デジタルカメラ
    TWI573433B|2017-03-01|優化深度資訊的方法與裝置
    US10834379B2|2020-11-10|2D-to-3D video frame conversion
    TW201627950A|2016-08-01|擴充實境中基於深度攝影機之遮蔽效果優化方法
    WO2018188277A1|2018-10-18|视线校正方法、装置、智能会议终端及存储介质
    Xu et al.2013|Depth-aided exemplar-based hole filling for DIBR view synthesis
    EP3311361A1|2018-04-25|Method and apparatus for determining a depth map for an image
    TWI549477B|2016-09-11|產生深度資訊的方法與裝置
    US20080226159A1|2008-09-18|Method and System For Calculating Depth Information of Object in Image
    JP2010506482A|2010-02-25|ビデオストリームの視差回復方法及びフィルタ
    KR101875532B1|2018-07-11|계층적 스테레오 매칭 장치 및 방법
    US10074209B2|2018-09-11|Method for processing a current image of an image sequence, and corresponding computer program and processing device
    CN104778673B|2018-11-09|一种改进的高斯混合模型深度图像增强方法
    TWI540538B|2016-07-01|對立體影像之處理方法
    JP2004519048A|2004-06-24|立体画像から抽出された物体境界を改善する方法及び装置
    KR20180000696A|2018-01-03|적어도 하나의 라이트필드 카메라를 사용하여 입체 이미지 쌍을 생성하는 방법 및 장치
    KR101563470B1|2015-10-27|적응적 가중치 국부 기술자 기반의 광량 변화에 강건한 스테레오 정합 장치 및 방법
    JP4899151B2|2012-03-21|視差補間処理方法および処理装置
    CN105791795A|2016-07-20|立体图像处理方法、装置以及立体视频显示设备
    同族专利:
    公开号 | 公开日
    TWI540538B|2016-07-01|
    US9008413B2|2015-04-14|
    US20130108149A1|2013-05-02|
    引用文献:
    公开号 | 申请日 | 公开日 | 申请人 | 专利标题
    US7085409B2|2000-10-18|2006-08-01|Sarnoff Corporation|Method and apparatus for synthesizing new video and/or still imagery from a collection of real video and/or still imagery|
    CA2553473A1|2005-07-26|2007-01-26|Wa James Tam|Generating a depth map from a tw0-dimensional source image for stereoscopic and multiview imaging|
    KR100762670B1|2006-06-07|2007-10-01|삼성전자주식회사|스테레오 이미지로부터 디스패리티 맵을 생성하는 방법 및장치와 그를 위한 스테레오 매칭 방법 및 장치|
    TWI301418B|2006-08-17|2008-10-01|Pixart Imaging Inc||
    GB0708676D0|2007-05-04|2007-06-13|Imec Inter Uni Micro Electr|A Method for real-time/on-line performing of multi view multimedia applications|
    TW201044317A|2009-06-03|2010-12-16|Chunghwa Picture Tubes Ltd|Method of transforming two-dimensional image into three-dimensional image|BR112018075740A2|2016-06-14|2019-03-26|Rolling Optics Innovation Ab|imagem sintética e método para a sua fabricação|
    法律状态:
    2020-04-01| MM4A| Annulment or lapse of patent due to non-payment of fees|
    优先权:
    申请号 | 申请日 | 专利标题
    TW100139198A|TWI540538B|2011-10-27|2011-10-27|對立體影像之處理方法|TW100139198A| TWI540538B|2011-10-27|2011-10-27|對立體影像之處理方法|
    US13/587,171| US9008413B2|2011-10-27|2012-08-16|Processing method for a pair of stereo images|
    [返回顶部]